Masyumi diasaskan pada 24 Oktober 1943 sebagai pengganti untuk Majlis al-Islam A'la Indonesia (MIAI) kerana Jepun memerlukan sebuah badan untuk menyatukan masyarakat Indonesia melalui sebuah lembaga agama Islam. Meskipun demikian, Jepun tidak terlalu tertarik kepada parti-parti Islam yang telah wujud sejak zaman Belanda yang kebanyakannya berpusat di kota-kota dan memegang fikiran-fikiran moden sehingga pada minggu-minggu pertama pemerintahannya, Jepun telah mengharamkan Parti Syarikat Islam Indonesia (PSI) dan Parti Islam Indonesia (PII). Selain itu, Jepun juga berusaha untuk memisahkan golongan cendekiawan Islam di kota-kota daripada para kiai di pedesaan. Para kiai di pedesaan memainkan peranan yang lebih penting kepada Jepun kerana mereka dapat menggerakkan masyarakat supaya mendukung Perang Pasifik sebagai buruh atau askar. Setelah gagal mendapatkan dukungan daripada para nasionalis dalam Pusat Tenaga Rakyat (PUTERA), Jepun mengasaskan Masyumi.

Masyumi pada zaman pendudukan Jepun masih belum menjadi sebuah parti politik, namun ia merupakan sebuah persekutuan yang terdiri daripada empat buah pertubuhan Islam yang dibenarkan ketika itu, iaitu Nahdlatul Ulama (NU), Muhammadiyah, Persatuan Umat Islam, dan Persatuan Umat Islam Indonesia. [1]

Nahdlatul Ulama (NU) yang merupakan salah satu pertubuhan besar-besaran Islam memainkan peranan yang utama dalam pembentukan Masyumi. Hasyim Asy'arie, tokoh NU, dipilih sebagai ketua Masyumi pada saat itu. Banyak tokoh NU yang lain juga terlibat dalam pengurusan Masyumi. Oleh sebab NU menjiwai politik, namun penglibatan Masyumi dalam bidang politik tidak dapat dielakkan. Nahdlatul Ulama kemudian keluar dari Masyumi melalui surat keputusan Pengurus Besar Nahdlatul Ulama (PBNU) pada 5 April 1952, akibat perselisihan politiknya dengan kaum intelektual Masyumi yang menginginkan para kiai NU menumpukan perhatian mereka kepada persoalan agama sahaja.

Hubungan antara Muhammadiyah dengan Masyumi mengalami pasang surut dari segi politik, dan menjadi tegang semasa Pilihan Raya Umum, 1955. Oleh itu, beliau melepaskan keahlianan istimewanya dalam Masyumi tidak lama sebelum Masyumi dibubarkan pada tahun 1960.